((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* ThroughLine cherche à lutter contre l'extrémisme grâce à l'IA et au soutien humain
* Collaboration avec l'Appel de Christchurch pour des conseils en matière de lutte contre l'extrémisme
* L'entreprise néo-zélandaise gère déjà des interventions d'urgence en cas de problèmes de santé mentale
* L'entreprise compte parmi ses clients OpenAI, Anthropic et Google
(Mise à jour de l'article du 2 avril pour remanier le premier paragraphe) par Byron Kaye
Les personnes qui manifestent des tendances extrémistes violentes sur ChatGPT et d'autres plateformes d'intelligence artificielle pourraient à l'avenir être orientées vers un soutien à la déradicalisation basé sur des humains et des chatbots grâce à un nouvel outil en cours de développement en Nouvelle-Zélande, ont déclaré les personnes à l'origine de cette initiative.
Cette initiative est la dernière tentative en date pour répondre aux préoccupations en matière de sécurité face au nombre croissant de poursuites judiciaires accusant les entreprises d'intelligence artificielle de ne pas avoir mis fin à la violence, voire de l'avoir favorisée.
En février, OpenAI a été menacée d'intervention par le gouvernement canadien après avoir révélé qu'une personne ayant perpétré une fusillade meurtrière dans une école avait été bannie par la plateforme sans que les autorités en aient été informées.
ThroughLine, une startup engagée ces dernières années par OpenAI, propriétaire de ChatGPT, ainsi que par ses rivaux Anthropic et Google GOOGL.O , pour rediriger les utilisateurs vers une aide d'urgence lorsqu'ils sont signalés comme présentant un risque d'automutilation, de violence domestique ou de troubles alimentaires, étudie également les moyens d'élargir son offre à la prévention de l'extrémisme violent, a déclaré Elliot Taylor, son fondateur et ancien animateur de groupes de jeunes.
L'entreprise est en pourparlers avec The Christchurch Call, une initiative visant à éradiquer la haine en ligne créée après le pire attentat terroriste de Nouvelle-Zélande en 2019, qui impliquerait que le groupe anti-extrémisme donne des conseils pendant que ThroughLine développe le chatbot d'intervention, a déclaré l'ancien travailleur de jeunesse.
"C'est quelque chose vers lequel nous aimerions nous diriger et faire un meilleur travail de couverture, puis être en mesure de mieux soutenir les plateformes", a déclaré Taylor dans une interview, ajoutant qu'aucun calendrier n'avait été fixé.
OpenAI a confirmé la relation avec ThroughLine mais n'a pas souhaité faire d'autres commentaires. Anthropic et Google n'ont pas répondu immédiatement aux demandes de commentaires.
L'entreprise d'Elliot Taylor, qu'il dirige depuis sa maison dans la campagne néo-zélandaise, est devenue une référence pour les entreprises d'IA grâce à son réseau de 1 600 lignes d'assistance téléphonique dans 180 pays, qui est constamment contrôlé.
Lorsque l'IA détecte les signes d'une crise potentielle de santé mentale, elle dirige l'utilisateur vers ThroughLine, qui le met en relation avec un service humain disponible à proximité.
Cependant, le champ d'action de ThroughLine a été limité à des catégories spécifiques, a déclaré le fondateur. L'étendue des problèmes de santé mentale divulgués en ligne a explosé avec la popularité des chatbots d'IA, et inclut désormais les démêlés avec l'extrémisme, a-t-il ajouté.
PLUS DE CHATBOTS, PLUS DE PROBLÈMES
L'outil de lutte contre l'extrémisme serait probablement un modèle hybride combinant un chatbot formé pour répondre aux personnes qui montrent des signes d'extrémisme et des renvois vers des services de santé mentale réels, a déclaré Elliot Taylor.
"Nous n'utilisons pas les données d'entraînement d'un LLM de base", a-t-il déclaré, faisant référence aux ensembles de données génériques que les grandes plateformes de modèles de langage utilisent pour former un texte cohérent. "Nous travaillons avec les bons experts. La technologie est actuellement testée, mais aucune date n'a été fixée pour son lancement.
Galen Lamphere-Englund, conseiller en matière de lutte contre le terrorisme représentant The Christchurch Call, a déclaré qu'il espérait déployer le produit pour les modérateurs de forums de jeux et pour les parents et les soignants qui veulent éliminer l'extrémisme en ligne.
Un outil de réacheminement de chatbot est "une idée bonne et nécessaire parce qu'il reconnaît que ce n'est pas seulement le contenu qui pose problème, mais aussi la dynamique des relations", a déclaré Henry Fraser, chercheur en IA à l'Université de technologie du Queensland.
Le succès du produit pourrait dépendre des questions suivantes, a-t-il dit: "Quelle est la qualité des mécanismes de suivi et quelle est la qualité des structures et des relations vers lesquelles ils orientent les gens pour résoudre le problème?"
Elliot Taylor a indiqué que les fonctions de suivi, y compris les éventuelles alertes aux autorités concernant les utilisateurs dangereux, restaient à déterminer, mais qu'elles tiendraient compte de tout risque de déclencher une escalade du comportement.
Selon lui, les personnes en détresse ont tendance à partager en ligne des choses qu'elles sont trop gênées pour dire à une personne, et les gouvernements risquent d'aggraver le danger s'ils font pression sur les plates-formes pour qu'elles coupent les utilisateurs qui s'engagent dans des conversations délicates.
Selon une étude réalisée en 2025 par le Stern Center for Business and Human Rights de l'université de New York, la modération accrue associée au militantisme des plateformes sous la pression des forces de l'ordre a poussé les sympathisants à se tourner vers des solutions moins réglementées telles que Telegram.
"Si vous parlez à une IA et révélez la crise et qu'elle ferme la conversation, personne ne sait que cela s'est produit, et cette personne pourrait toujours être sans soutien", a déclaré Elliot Taylor.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer